AVTok: 1D Unified Tokenization for Holistic Audio-Video Generation
AVTok: 用于整体音视频生成的一维统一分词器
🧭 统一多模态分词器 · 音视频生成
The Hong Kong University of Science and Technology
提出统一音视频分词器 AVTok，用双流 Transformer 将音视频对编码为共享码本的紧凑一维 token 序列
📌 工作参考价值（4 点）
- 统一码本设计可借鉴：在电商推荐中，将商品图像、描述、甚至短视频音轨等异构模态信息通过统一分词器映射到共享离散空间，便于后续的生成式推荐模型（如基于 AR 的 item 生成）处理。
- 双流架构与模态特定可学习查询：可用于处理搜索推荐中用户行为序列（时序流）和内容特征（语义流）的融合，共享主干而保留模态差异，降低计算开销。
- 分层训练策略：缓解多模态数据的信息不平衡问题，在推荐场景中可逐步引入不同模态特征（先文本后图像），让模型渐进学习对齐表示，避免单一模态主导。
- 主要是学术贡献，业务可借鉴点有限，但统一多模态 tokenization 的思路对构建商品或内容的全域统一表示有启发性。